Thorolf Rafto sinh ngày 6 tháng 7 năm 1922 ở Bergen, Na Uy. Cha ông, Robert Rafto là một vận động viên thể dục thể thao đã đoạt chức vô địch giải điền kinh 10 môn phối hợp (decathlon) của Na Uy năm 1918 và đã từng tham gia Thế vận hội. Bản thân Rafto cũng là vận động viên điền kinh và cũng đã đoạt chức vô địch giải điền kinh 10 môn phối hợp của Na Uy năm 1947.[1]

Trong thời Chiến tranh thế giới thứ hai, Thorolf Rafto trốn sang Vương quốc Anh và phục vụ trong Không quân Hoàng gia Anh. Sau chiến tranh, ông trở về Bergen, học ngành Ngôn ngữ và Lịch sử và tốt nghiệp ở Đại học Bergen. Năm 1956, Thorolf Rafto trở thành giảng viên ở Trường Cao đẳng Thương mại Na Uy tại Bergen.